Metric	Score
Weighted-F1	52.74
Hyphens-F1	51.16
Comma-F1	64.93
Ellipsis-F1	0.00
Fullstop-F1	43.05
QMark-F1	30.56
Colon-F1	74.00
Excl-F1	18.18

Metric	Score
Weighted-F1	51.94
Hyphens-F1	39.55
Comma-F1	70.36
Ellipsis-F1	100.00
Fullstop-F1	39.03
QMark-F1	16.13
Colon-F1	55.84
Excl-F1	8.00

worst items

note: the gold standard is taken from the challenge

#	input	expected output	actual output	test-D Weighted-F1
1	wikitalks0016312 od kiedy death metal i black metal to odmiana heavy metalu od zgoła 20 lat 1 motorhead judas priest venom death death metal…	O O O O O O O O O O B-QMARK O O O B-FULLSTOP O B-COMMA O B-HYPHEN O B-HYPHEN O O O B-COMMA O B-HYPHEN B-COMMA B-HYPHEN O O O O O O O O O O O…	O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-FULLSTOP O B-COMMA O O O O O O O O O…	8.23
2	wikitalks001699 wnioskuję o usunięcie części pt " linki zewnętrzne " ponieważ po kliknięciu na link nie otwiera się żadna bibliografia bkwg …	O O O O B-FULLSTOP O O O B-COMMA O O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O B-FULLSTOP…	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	10.71
3	wikitalks004346 w odniesieniu do ich surowego życia może coś przeoczyłem ale nie widzę 'fantazyjności' nie szukając daleko finezyjne jak to …	O O O O O B-QMARK O O B-COMMA O O O B-FULLSTOP O O B-HYPHEN O O O B-QMARK O O O O O O O O B-XCL O O O O O O O O O B-COMMA O O O O O O O O O …	O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA B-COMMA O O O O O O O O O B-FULLSTOP O O O O O O O B-COMMA O O O O B-FULLSTOP O O O O O …	19.09
4	wikitalks003512 dlaczego data wejścia w życie konstytucji rózni się od tej podanej na stronie angielskiej wersji wikipedi xmikolajx poprawka…	O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O B-KOLON O O O O O O B-COMMA O O O B-COMMA O O O O O O O B-COMMA O O O B-COMMA O O O …	O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O O O O B-COMMA O O O B-F…	19.32
5	wikitalks0016538 polactwo zbiorem felietonów klisu właśnie toż to traktat polityczny sugeruję korektę mendel poprawiłem a j raz nie zerwał o…	O O B-HYPHEN O B-XCL O O O B-FULLSTOP O B-FULLSTOP O B-FULLSTOP B-FULLSTOP B-FULLSTOP O O O O O O O O B-HYPHEN O O O O O O B-HYPHEN O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O O O …	21.29
6	wikitalks0017075 ani słowa o zachowaniach agresywnych kiedy poziom nikotyny spada a potrafią one być skrajne znam również sytuacje kiedy już…	O O O O O O O O B-FULLSTOP O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O O O B-COMMA O O O O O O O O O O O O O B-QMARK O…	O O O O B-COMMA O O O B-COMMA O O O O B-COMMA B-FULLSTOP O B-COMMA O O O O O O O O O O O O B-FULLSTOP O O O O O B-COMMA O O O O B-COMMA O O …	21.36
7	wikitalks0016207 zbrojnik niebieski to ancistrus multispinis " bristlenose catfish " a ancistrus dolichopterus to l183 " starlight bristleno…	O O O O O O O O O O O O O B-COMMA O O O O B-KOLON O B-COMMA O O B-QMARK O O O B-FULLSTOP O O O O O O O O B-COMMA O B-FULLSTOP O O B-COMMA O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O …	22.14
8	wikitalks0012102 druga z pomorskich linii tym razem bardzo lokalna łącząca stolice dwóch powiatów problem jest z historią linii gdyż w zasad…	O O O B-COMMA O O O O O O O B-FULLSTOP O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O…	O O O B-COMMA O O O B-COMMA O O O B-FULLSTOP O O O O B-COMMA O O O O O O O O B-FULLSTOP O O O O O O O O O B-COMMA O O O O O O O O O O O O O …	23.00
9	wikinews226727 zarząd dróg i transportu w łodzi przedstawił harmonogram prac przy przebudowie trasy w z inwestycji obejmującej nie tylko wbu…	O O O O O O O O O O O O B-HYPHEN O O O O O O O B-COMMA O O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O B-FULLSTOP O O B-FULLSTOP O O O O…	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-COMMA O O…	24.64
10	wikinews225483 w domu kultury 502 w łodzi ul a sacharowa 16 na widzewie wschodzie od 23 października 1990 r działa widzewska galeria ekslibr…	O O O O O O B-FULLSTOP B-FULLSTOP O O O B-HYPHEN O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O B-COMMA B-FULLSTOP O O O …	O O O O O B-COMMA B-FULLSTOP O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O …	25.71
11	wikitalks002735 artykuł miesza tezy naukowe z tezami wyssanymi z palca oraz ew fiolozofii i religii nie mówiać przy tym która jest która nie…	O O O O O O O O O O B-FULLSTOP O O B-COMMA O O O O O O B-FULLSTOP O O O O O B-FULLSTOP O O O O B-FULLSTOP B-FULLSTOP O B-KOLON O B-KOLON O O…	O O O O O O O O O O O O O O O B-FULLSTOP O B-COMMA O B-COMMA O O B-COMMA O O O B-COMMA O O O O O O O O O B-KOLON O O O O O O O O B-COMMA B-C…	26.06
12	wikitalks0014582 kolego gregul sprawa jest prosta pojęcie stateczności stabilności dotyczy nie tylko układów sutomatycznej regulacji ale tak…	O B-COMMA O O B-KOLON O O O O O O O O B-COMMA O O O B-FULLSTOP O O O O O B-QMARK O O O O O O O O O O B-COMMA O O O O O O O O B-QMARK O O B-H…	O O O O B-HYPHEN O O O O O O O O B-COMMA O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B…	26.84
13	wikitalks0017422 dlaczego w histori nie ma wspomnienia o grabarzu i jego torturach 5077 70 8 pewnie dlatego że nie dotarli do odpowiedniej l…	O O O O O O O O O O B-QMARK O O O O B-COMMA O O O O O B-FULLSTOP O O O O O O O B-QMARK O O O O O B-FULLSTOP O O O O B-QMARK O O O O O O B-KO…	O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-KOLON O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O B-COMMA …	27.48
14	wikinews227796 25 maja rząd odpowie na żądania strajkujących lekarzy ogólnopolski związek zawodowy lekarzy domaga się miliarda złotych na po…	O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O B-COMMA O O O O O O O O O O O O O O B-FULLSTOP O O …	O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-HYPHEN O O O B-HYPHEN O O O B-COMMA O O O O O O O O O O O O O O B-FULLSTOP O O O O …	27.53
15	wikinews189958 w minionym tygodniu rozpoczęła się w chinach budowa bloku elektrowni jądrowej ningde 4 na dwóch innych placach budowy reaktor…	O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O B-FULLSTOP O O O O O O B-HYPHEN …	O O B-FULLSTOP O O O O O O O O O O O O O O O O B-FULLSTOP O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O B-FULLSTOP O O B-FULLSTOP O O O O O …	27.68
16	wikitalks0016311 " armia pakistańska wymordowała w delcie gangesu ok 1 1 5 miliona cywilów i dopuściła się bezprecedensowo straszliwej liczb…	O O O O O O O B-FULLSTOP B-HYPHEN B-COMMA B-HYPHEN O O O O O O O O B-FULLSTOP O O B-HYPHEN O O O O B-QMARK O B-KOLON O O O O O O O O B-KOLON…	O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O B-FULLSTOP O O O O O O O B-KOLON O O O B-FULLSTOP O O O O B-KOLON O O O B-FULLSTOP O O…	28.07
17	wikitalks009315 co to są " kanały półlegalne " pochodzenie mianem " bootlegers " określano przemytników przemycających towar w butach w xvii…	O O O O O O B-QMARK B-KOLON O O O O O O O O O O O O B-COMMA O O O O O B-FULLSTOP O O O O O O O O O B-QMARK O O O B-QMARK O O O O O O O B-FUL…	O O O O O B-QMARK O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O…	28.48
18	wikitalks0014941 skąd informacja że krzyż i tablica były umieszczone nielegalnie czy autor edycji mógłby podać źródło czy liczy się dodanie …	O B-COMMA O O O O O O B-QMARK O O O O O B-QMARK O O O B-COMMA O O B-QMARK O O O B-FULLSTOP O B-COMMA O O O B-HYPHEN O B-COMMA O B-QMARK O O …	O B-COMMA O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O B-FULLSTOP O B-COMMA O O O O O O O B-QMARK O B-COMMA O B-COMMA O O…	28.51
19	wikinews179014 w gdańsku zgodnie już z coroczną czerwcową tradycją odbył się wielki przejazd rowerowy ulicami miasta początek przejazdu ma m…	O O O O O B-COMMA O O O O O O O O B-FULLSTOP O O O O O O O O O O B-COMMA O O B-FULLSTOP B-COMMA O O O O O O O B-FULLSTOP O O O O O O O O B-F…	O B-FULLSTOP O O O O O O O O O O O O B-KOLON O O O O O O O O O O B-COMMA O O O O O O O O O O O B-FULLSTOP O B-FULLSTOP O O O O O O O B-COMMA…	29.47
20	wikinews188298 armia pakistańska rozpoczęła ponad tydzień temu operację w górskich rejonach waziristanu w nalotach lotnictwa pakistanu i usa…	O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O B-COMMA O O O O O B-FULLSTOP O O O B-COMMA O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O…	29.55
21	wikitalks004052 a dlaczego dane są tylko do 2017 roku źródła przepraszam ja nie posiadam źródeł ale na początku winna być poprawka wzrost lu…	O O O O O O O B-QMARK O B-COMMA O O O O O O O O O B-HYPHEN O O O O O O O O B-FULLSTOP B-FULLSTOP O O B-FULLSTOP O O O O O O O B-COMMA O B-HY…	O O O O O O O B-QMARK O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O …	29.89
22	wikitalks008601 a co z wyrażeniem " oblucja " " w kościele rzymskokatolickim " dlaczego na wstępie tego artykułu jest napisane że ablucja to…	O O O O O O B-QMARK O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O B-QMARK O O O O O B-COMMA O O O O O B-FULLSTOP O O O O O O O O O O…	O O O O O O O O O O B-QMARK O O O O O O O B-COMMA O O O O O O B-QMARK O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O B-…	30.78
23	wikinews196417 " dlaczego ścigano wachowskiego a szczególnie dlaczego robiono rewizje wachowskiemu dlatego że chciano znaleźć oryginalne]] p…	O O O B-COMMA O O O O O B-FULLSTOP B-COMMA O O O B-COMMA O B-COMMA O O O O O O B-HYPHEN O O O O O B-COMMA O O O O O B-COMMA O O B-FULLSTOP O…	O O O B-COMMA O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O …	31.49
24	wikinews183089 dziś tuż przed godziną dziesiątą zawitał w szczecinie jacht rona ii tuż po nim na horyzoncie pojawił się żaglowiec szkolny ma…	O O O O O O O O O O B-FULLSTOP O O B-COMMA O O O O O O O O O B-HYPHEN O O O B-FULLSTOP O O O O O O O B-COMMA O O O O O O O O O O B-FULLSTOP …	O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA B-COM…	31.90
25	wikinews227317 drugiego maja wchodzi w życie rozporządzenie ministra transportu i budownictwa z dnia 20 kwietnia zmieniające rozporządzenie …	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP …	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	32.00
26	wikitalks007788 link do " archiwalna strona wp pl z 12 lutego 1998 roku " nie dzial w chwili testowania dostep 2006 05 31 teraz dziala herr …	O O O O O B-FULLSTOP O O O O O O O O O O O B-HYPHEN B-KOLON B-HYPHEN O B-HYPHEN O B-FULLSTOP O O O O O O O O O O O O O O B-FULLSTOP O O O O …	O O O O O O O O O O O O O O O O O O O B-HYPHEN B-KOLON O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYP…	33.03
27	wikinews226523 15 kwietnia 2013 na warszawskiej giełdzie papierów wartościowych ruszy nowy system giełdowy gpw po 13 latach zmienia system k…	O O O O O O O O O O O B-FULLSTOP O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O B-FULLSTOP O O O O B-COMM…	O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O…	33.47
28	wikinews180020 polska edycja wikinews wolnego źródła informacji opartego o technologię wiki ma już rok na początku 2005 roku po dyskusji na …	O O B-HYPHEN O O O O O O B-HYPHEN O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-FULLSTOP O O O O B-FULLST…	O O B-COMMA B-FULLSTOP O O O O O B-COMMA O O B-FULLSTOP O B-FULLSTOP O B-FULLSTOP O O O O O O O O O O O O O O O B-COMMA O O O O O O B-FULLST…	33.58
29	wikinews184105 4 października w godzinach wieczornych po raz 17 przyznano ig noble zwane też anty noblami dostają je naukowcy których badani…	O O O O O O O O O O O O O O B-FULLSTOP O O B-COMMA O O O O O O O B-COMMA O O O O B-FULLSTOP O O O O B-KOLON O O O O O O B-HYPHEN O O O B-COM…	O O O O O O O O O O B-COMMA O O B-HYPHEN B-COMMA O O B-COMMA O O O O O O O B-COMMA O O O B-FULLSTOP O O O O O B-KOLON O O O O O O O O O O B-…	34.35
30	wikinews182510 około godziny 11 00 w okolicy skrzyżowania ulic lisowskiej i żeromskiego w warszawie podczas prac remontowych doszło do uszko…	O O B-KOLON O O O O O O O O O O O O O O O O B-COMMA O O O O B-FULLSTOP O O B-COMMA O O B-HYPHEN O O O O O B-FULLSTOP O O O B-COMMA O O O B-C…	O O B-KOLON O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O B-COMMA O O B-COMMA O O O O O B-HYPHEN O O O B-COMMA O O O B-COMMA O…	34.51
31	wikitalks001549 nie zmieniłem tego ale wydaje mi się że zamiast " buddyźmie " " marksiźmie " " relatywiźmie " powinno być " buddyzmie " " ma…	O O B-COMMA O O O B-COMMA O O O O B-COMMA O O B-COMMA O O O O O O O B-COMMA O O B-COMMA O O B-FULLSTOP O O O O O O O O O O O B-COMMA O O O O…	O O B-COMMA O O O B-COMMA O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O B-CO…	34.72
32	wikinews181800 na podlasiu rozpoczęły się przedterminowe wybory do sejmiku województwa razem z nimi odbywa się referendum w sprawie przebieg…	O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O B-COMMA O O O O O O O O O O B-HYPHEN O O O O B-HYPHEN O O O …	O O O O O O O O B-COMMA O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O B-FULLSTOP O O B-FULLST…	35.12
33	wikitalks0012907 rozbudowałem znacząco w ostatnim czasie myślałbym o zgłoszeniu do da proszę o ewentualne uwagi pod tym kątem misiek2 pisz w…	O O O O B-COMMA O O O O B-FULLSTOP O O O O O O B-FULLSTOP O O O O O O O O B-KOLON O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O B-COMM…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O B-COMMA O O O O O O O B-COMMA O …	35.74
34	wikinews218360 na terenach wystawowych w pradze w dniach 13 16 maja 2010 r odbyły się targi książki svět knihy w tym roku gościem honorowym …	O O O O O O O B-HYPHEN O O O B-FULLSTOP O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O O O O O O O O O O O O B-FULLSTOP O O O O O O O B-F…	O O O O B-FULLSTOP O O B-HYPHEN O O O O O O O O O B-FULLSTOP O O O O O O O B-HYPHEN O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O …	35.76
35	wikitalks001872 dlaczego eurocopter ec725 super cougar i dalej " " a h225m caracal jak znam życie i ryst tą samą maszyną co ej ein ek to ec7…	O O O O O O O O B-COMMA O O B-QMARK O O O O O O O O O O O B-COMMA O O O O O O B-FULLSTOP O O B-FULLSTOP O O B-QMARK B-KOLON B-COMMA O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O …	35.79
36	wikinews196680 28 lipca odbędą się w krakowie w hotelu galaxy targi kariera programisty targi organizowane są cyklicznie przez firmę careerc…	O O O O O B-COMMA O O B-COMMA O O B-FULLSTOP O O O O O O O O O O B-FULLSTOP O O O B-COMMA O O O O O B-COMMA O O O O O O B-FULLSTOP O O B-KOL…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-FULLSTOP O O O O O O O O O O O O B-COMMA O O O B-COMMA…	35.96
37	wikitalks0016801 o co chodzi z tym " tramwaje w polsce " to może od razu ramka z " przejściami granicznymi w polsce " albo " puby w polsce "…	O O O O B-KOLON O O O O B-QMARK O O O O O O O O O O O B-COMMA O O O O O B-QMARK B-FULLSTOP B-FULLSTOP O O B-COMMA O O O O B-FULLSTOP O B-KOL…	O O O O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O B-COMMA O O O O B-FULLSTOP O B-KOLON B-COMMA O O O O O O O O O O O …	36.05
38	wikinews186557 sławomir cenckiewicz współautor książki o domniemanych kontaktach lecha wałęsy ze służbami bezpieczeństwa zrezygnował ze stan…	O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O B-FULLSTOP O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O B…	O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O B-HYPHEN O O O O O O O O B-FULLSTOP B…	37.00
39	wikinews184403 z powodu wykrycia infekcji gronkowca złocistego u siedmiu noworodków w wojewódzkim szpitalu specjalistycznym we wrocławiu zam…	O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O B-C…	O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O B-COMMA …	37.42
40	wikitalks0012041 ciekawe wyrażenie arytmetyczne tylko że odkąd to unia pracy jest centrolewicowa czyżby środek ciężkości przesunąwszy był zr…	O O B-COMMA B-COMMA O O O O O O B-QMARK O O O O O O O O O O B-COMMA O B-QMARK O O O O O O O O B-COMMA O O O B-COMMA O O O O O B-COMMA O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O B-COMMA O O O O O B-COMMA O O O B-COMMA O O O O O B-HYPH…	37.85